一状态的概述  在Flink中，算子任务可以分为无状态和有状态两种情况。  无状态的算子只需要观察每个独立事件，根据当前输入的数据直接转换输出结果，如map、filter、flatMap，计算时不依赖其他数据，就属于无状态算子。  而有状态的算子任务，则除当前数据之外，还需要一些其他数据来得到计算结果。这里的“其他数据”就是所谓的状态（state）。聚合算子、窗口算子都属于有状态的算子。有状态算子的一般处理流程，具体步骤如下：1）算子任务接收到上游发来的数据；2）获取当前状态3）根据业务逻辑处理计算，更新状态4）得到计算结果，输出发送到下游任务二状态的分类1托管状态（ManagedState）

FlinkAPI总共分为4层这里主要整理TableAPI的使用TableAPI是流处理和批处理通用的关系型API，TableAPI可以基于流输入或者批输入来运行而不需要进行任何修改。TableAPI是SQL语言的超集并专门为ApacheFlink设计的，TableAPI是Scala和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不同，TableAPI查询是以Java或Scala中的语言嵌入样式来定义的，具有IDE支持如：自动完成和语法检测。需要引入的pom依赖如下：dependency>groupId>org.apache.flinkgroupId>artifactId>fl

Flink项目系列1-项目介绍-墨天轮Flink实时电商实战项目:基于尚硅谷开源项目的Flink电商实战项目（全流程）大数据Flink电商数仓实战项目流程全解（一）_尚硅谷flinksql大数据项目实战-CSDN博客实时即未来，大数据项目车联网之创建Flink实时计算子工程【二】_flink实时数仓车联网项目_AI_Maynor的博客-CSDN博客实时即未来，车联网项目之创建Flink实时计算子工程-云社区-华为云实时即未来，车联网项目之电子围栏分析【六】-云社区-华为云

增加 importorg.apache.flink.streaming.api.scala._  即可

容错机制容错：指出错后不影响数据的继续处理，并且恢复到出错前的状态。检查点：用存档读档的方式，将之前的某个时间点的所有状态保存下来，故障恢复继续处理的结果应该和发送故障前完全一致，这就是所谓的检查点。检查点的控制节点：jobManager里面的检查点协调器，向source节点的数据插入barrier标记。检查点的保存：-周期性触发保存-保存的时间点：所有算子恰好处理完一个相同的输入数据时(使用Barrier机制)检查点分界线Barrierbarrier标记表示这个标记之前的所有数据已经将状态更改存入当前检查点。后续的算子节点只要遇到它就开始对状态做持久化快照保存。在它之后对数据状态的改变，只能

文章目录1、Graph的概念2、Graph的演变过程2.1、StreamGraph(数据流图)2.2、JobGraph(作业图)2.3、ExecutionGraph(执行图)2.4、PhysicalGraph(物理图)1、Graph的概念Flink中的执行图可以分成四层：StreamGraph->JobGraph->ExecutionGraph->PhysicalGraph。StreamGraph（数据流图）：是根据用户通过StreamAPI编写的代码生成的最初的图。用来表示程序的拓扑结构。JobGraph（作业图）：StreamGraph经过优化后生成了JobGraph，提交给JobMana

Flink是一个分布式系统，需要有效地分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，如HadoopYARN和Kubernetes，但也可以设置为作为一个独立的集群运行，甚至作为一个库。Flink集群的剖析Flink运行时由两种类型的进程组成:一个JobManager和一个或多个taskmanager。Client(客户端)不是运行时和程序执行的一部分，而是用于准备和发送数据流到JobManager。之后，客户端可以断开连接(分离模式)，或者保持连接以接收进度报告(附加模式)。Client(客户端)要么作为触发执行的Java/Scala程序的一部分运行，要么在命令行进程

目录1.实现分析2.代码实现3.测试验证4.源码地址        线上运行的CEP中肯定经常遇到规则变更的情况，如果每次变更时都将任务重启、重新发布是非常不优雅的。尤其在营销或者风控这种对实时性要求比较高的场景，如果规则窗口过长（一两个星期），状态过大，就会导致重启时间延长，期间就会造成一些想要处理的异常行为不能及时发现。1.实现分析外部加载：通常规则引擎会有专门的规则管理模块，提供用户去创建自己的规则，对于Flink任务来说需要到外部去加载规则动态更新：需要提供定时去检测规则是否变更历史状态清理：在模式匹配中是一系列NFAState的不断变更，如果规则发生变更，需要清理历史状态API：需要

文章目录22：FineBI配置数据集23：FineBI构建报表24：FineBI实时配置测试附录二：离线消费者完整代码22：FineBI配置数据集目标：实现FineBI访问MySQL结果数据集的配置实施安装FineBI参考《FineBIWindows版本安装手册.docx》安装FineBI配置连接数据连接名称：Momo用户名：root密码：自己MySQL的密码数据连接URL：jdbc:mysql://node1:3306/momo?useUnicode=true&characterEncoding=utf8数据准备SELECTid,momo_totalcount,momo_province,m

Flink中的处理函数（ProcessFunction和KeyedProcessFunction）在对于数据进行颗粒化的精确计算时使用较多，处理函数提供了一个定时服务（TimerService），可以向未来注册一个定时服务，我们可以把它理解为一个闹钟，当闹钟响起时，就调用ProcessFunction中的onTimer()方法，会对数据进行一些计算。我们来解析一下这两个函数。本文基于Flink1.14版本ProcessFunctionProcessFunction是Flink中的较为底层的API，当我们对于DataStream调用process函数的时候，需要在里面传入一个对象，即newPro